查看原文
其他

一个好的影响力评估要考虑哪些问题?| 深一度思考

SSIR中文刊 斯坦福社会创新评论 2021-09-05




评估究竟应基于决策还是基于理论?争论中的一方认为,严谨的评估应更侧重于帮助决策者及时做出判断;另一方则认为应该基于理论来设计评估,以帮助我们了解诸如现金援助的运作机制和生效原因.

我们倾向于将评估视作一个三层推进模式——1、概念验证;2、概念引入;3、倡导、制度化和规模化;

对实践者而言,如果没有评估的必要,不应该仅为了取悦捐赠者或利益相关者而推销影响力评估。



全文约2700字,读完约需5分钟。


我们所在的机构“扶贫行动创新研究会”创办于2002年。这是一家主要从事研究和政策倡导的非营利组织,旨在探索和推广消除全球贫困问题的有效解决方案。迄今为止,我们已经与400多名学者共同合作,对包括加纳、菲律宾在内的全球多个国家的扶贫方案进行了650多次严格评估。 


我们的评估工作既为短期、实践性的政策制定服务,也为更长远的认知和决策制定提供信息支持。正因为如此,我们对最近评估专家们关于评估究竟应基于决策还是基于理论的争论深感困惑。


这场争论中的一方认为,严谨的评估应更侧重于帮助决策者及时做出判断,例如如何以最佳方式开展现金援助。而另一方则认为,应该基于理论来设计评估,以帮助我们了解诸如现金援助的运作机制和生效原因,以及它们是否能够在其他情境下同样生效。


我们认为,争论的双方提出了一个非黑即白的错误论点。这种区分方式意味着基于理论的评估并不为决策制定服务,但事实恰恰相反。好的评估应该而且经常能够同时为这两者提供信息支持。


如果评估者只对推进理论研究感兴趣,那么对其合作伙伴来说有损无益;如果仅致力于通过评估来完善相关的特定项目,则意味着错失了可以帮助数以百计也在努力解决同样问题的其他项目和机构的机会。 


以我们2010—2014年在赞比亚针对社区卫生工作者的研究为例:这项评估比较了招聘社区卫生工作者的两种不同策略:强调职业发展机会,或是强调对社区的贡献。我们发现,以职业发展为导向的信息吸引了更合格、更优秀的工作者。这项研究在很大程度上是为决策服务的:卫生部利用研究结果来决定如何招募更能干的社区卫生工作者。但这也是一项基于理论的评估:它帮助我们了解这些工作者的动机以及相关的运行机制,即在卫生服务的最终效果上,哪种招聘策略比其他策略更好。


并不是每一项评估都能满足眼前决策的需要。但是,如果评估的主要目的是帮助穷人改善生活,那么决策者就不仅需要对已有的项目和政策做出判断,还要能够决定长期该怎么做。他们要知道必须采纳哪些新的或有创新意义的政策,哪些政策在其他地方也有效、在什么情况下有效。



01评估的三层推进模式


我们不会将评估分类为基于理论或是基于决策,而是更倾向于将我们的做法视作一个三层推进模式,以此反映在一个项目完整周期的不同阶段,需要采取哪些类型的决策。


1概念验证


我们开展的大部分评估项目属于我们所说的“概念验证”研究,也是首次对一个想法的有效性进行评估。这可能意味着测试某个全新的设想(例如一个创新的存款产品),首次评估一项业已完善的干预措施(如小额信贷),或比较一个项目的不同实现方式(如价格补贴或招聘策略)


在概念验证阶段,很多情况下是我们来帮助机构对项目做出决策。但在这个过程中,我们几乎无一例外地对现有机制的有效性以及相关的人类行为学加深了认知,以此填补我们的知识空白,而这反过来能为未来的决策提供信息支持。


2概念引入


这个阶段包括测试一个项目的特定组成部分的关联性,例如某项机制在哪里实施、由谁操作执行、不同的运行模式是什么、项目的哪些部分最具成本效益等。当我们将概念引入不同的情境,就能加深对现有机制的理解,也因此能够拓展其普适性。


概念在各地的实地复制在这一阶段显得至关重要。这种复制包括不同的形式,从简单的“拷贝不走样”到在多种不同情境下进行全面调整的试验。


前者能帮助我们更精准地提炼现有机制,后者的例子包括我们在2015年针对六个国家进行的“赤贫人口脱贫模式”研究。这个大型项目表明,针对因贫困引发的众多难题的“大推动”计划,同时提高了赤贫人口的生计、收入和健康状况。在进行此类实地复制时,可以通过不同类型的执行机构(如非营利组织或政府),或更大规模执行(例如,当项目从数个社区或地区推广到全国),借此来考察某一做法在不同地区或国家(如脱贫模式)是否有效。


在这个阶段,理论与实地复制相结合能让我们理解某一做法在离开初始评估情境后为何有效或失效,以及如何将某一概念从一个情境引入到另一个情境。如果这些引入显示某一特定理论适用于各种情境,那么,以此为依据的政策就会具备很大的影响力。例如,赤贫人口脱贫模式的成功复制推动了政府和发展机构将该模式推广到数百万人中。


3倡导、制度化和规模化


在这一阶段,我们会协助将成功的机制嵌入现有系统当中(例如,将上述赤贫人口脱贫模式纳入政府的社保计划中),呼吁捐助者或政府大规模资助特定机制(例如资助以学校为基地的驱虫计划),并引导实施者采取最有效的方式来执行项目(例如执行驱虫计划时,免费提供蚊帐而不是收费)


尽管为简化起见,我们将这称为第三阶段,但我们知道,只有在第一和第二阶段就不遗余力地吸引合适的决策者来关注、理解相关问题,并定期告知他们最新动态,才有可能获得他们的支持。 


我们的目标不仅是推广成功的想法,更在于培养基于证据决策的文化。我们可以通过支持政府将基于证据的决策制度化,来大范围地拓展证据使用的领域。



02将证据用于决策


为了更好地支持基于证据的决策过程,我们认为需要更多的实地复制、更多的政策倡导和制度化。我们之前较少关注这些重要事项主要有几个原因、首先,这是个新领域,确实缺乏证据;此外,资助周期的压力和学术道路的现实使得概念验证更容易引发兴趣,因为这样可以缩短时间表,测试新的创新成果。


捐助者应将评估视为前瞻性研发工具,而不是问责工具。只有优先为这类调查提供资金,研发活动才能成为知识获取的源泉。为此,有些项目仅仅需要良好的监测数据支持,有些还需要采用证据,另一些则能够从可靠的评估中受益。


捐助者不应该鼓励过度评估——对,你没听错。过度评估有可能导致劣质评估,造成资源浪费,围绕各种解决方案的争论还会引起不必要的混乱。捐助者也应该容忍失败,鼓励机构不要掩盖失败,而是公开透明地揭示他们将如何做出调整。


出资者应致力于项目的实地复制,测试一个项目的多种不同执行形式,以确定其为何有效,并区分哪些内容最具成本效益。


最后,捐助者还应考虑资助评估的第三阶段:倡导使用证据并支持其制度化。虽然与资助某项具体研究或干预措施相比,它似乎显得有点空泛,但这是将证据用于决策的关键环节。


学者和评估机构也应该把决策者视为评估项目的客户。虽然研究者的本职工作是为知识体系增加内容,但良好的合作伙伴关系有利于做出更好和更具影响力的评估。


对实践者而言,如果没有评估的必要,不应该仅为了取悦捐赠者或利益相关者而推销影响力评估。实践者应该努力应用相关数据来引导决策,使用已有的严密证据来设计项目或者进行必要的修改,并使用简单的监测数据来跟踪项目是否按照计划执行。


无论从短期还是从长期而言,无论是尝试新想法还是将现有想法运用到其他情境之中,严谨的影响力评估应始终有助于决策的制定。评估同时也应有助于充实证据体系,并帮助我们最终实现项目的普适化。



(注:本文有删节,欲读全文可购纸刊,标题为编者所拟)





来源:本文刊于《斯坦福社会创新评论》02期

作者:安妮·杜弗洛,“扶贫行动创新”执行董事;

海蒂·麦克安娜利·林兹, “扶贫行动创新”政策和传播副主任。

译者:聂传焱

原标题:《关于评估的无谓之争》



点击文末“阅读原文”可购买


更多推荐阅读


中国创新: 慈济 | 基金会中心网 | 众建筑

创变者说:资中筠 | 吴敬琏 | 张维迎

深一度思考:影响力投资 | 中国集体式慈善 | 现金援助 

点子学院: 食物银行 | 绿色农业| 零利息融资


更多平台


对「社会创新」的案例、观点、方法感兴趣的朋友,我们分享以下资源和平台:


《斯坦福社会创新评论》英文网站:https://ssir.org/ ,提供大量免费在线文章;


微博账号:“斯坦福社会创新评论”,发布中文刊原版精选文章和最新资讯


扫描文末二维码可关注我们的公号;如果你觉得本文有所启发,别忘了点赞➕转发!


如需转载,请添加客服微信(lepingsitanfu)






点击下方“阅读原文”可购买《斯坦福社会创新评论》中文刊02期

↓↓↓ 
: . Video Mini Program Like ,轻点两下取消赞 Wow ,轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存